OpenRCA 2.0: From Outcome Labels to Causal Process Supervision
OpenRCA 2.0：从结果标签到因果过程监督
🧭 LLM Agent 评估 · 因果过程监督
The Chinese University of Hong Kong, Shenzhen · Xi'an Jiaotong University · Lero, University of Limerick
首个带逐步因果标注的根因分析基准，暴露 LLM 智能体“无根基诊断”问题
📌 工作参考价值（4 点）
- 对推荐系统故障诊断 Agent，不能只看最终根因准确率，需引入逐步因果验证，检测“无根基诊断”模式，提升决策可靠性。
- 构建内部诊断数据集时，可借鉴正向验证思路：通过注入已知故障，记录因果传播路径，为 Agent 提供步骤级别的监督信号。
- 推荐系统 Agent 面对复杂用户行为序列或系统日志时，同样存在“猜对但推理错”的风险，应在设计中加入链式证据输出与自动核验机制。
- 长上下文理解和多工具协同是 Agent 核心瓶颈，建议在推荐场景中针对性优化对长用户轨迹、多源数据的处理能力。